在本文中,我们演示并调查了一些挑战,这些挑战阻碍了使用物理知识的神经网络解决复杂问题的方式。特别是,我们可视化受过训练的模型的损失景观,并在存在物理学的情况下对反向传播梯度进行灵敏度分析。我们的发现表明,现有的方法产生了难以导航的高度非凸损失景观。此外,高阶PDE污染了可能阻碍或防止收敛的反向传播梯度。然后,我们提出了一种新的方法,该方法绕过了高阶PDE操作员的计算并减轻反向传播梯度的污染。为此,我们降低了解决方案搜索空间的维度,并通过非平滑解决方案促进学习问题。我们的配方还提供了一种反馈机制,可帮助我们的模型适应地专注于难以学习的领域的复杂区域。然后,我们通过调整Lagrange乘数方法来提出一个无约束的二重问题。我们运用我们的方法来解决由线性和非线性PDE控制的几个具有挑战性的基准问题。
translated by 谷歌翻译
科学机器学习的最新作品已经恢复了将神经网络应用于部分微分方程(PDE)的兴趣。一种流行的方法是将理事PDE的残留形式及其边界条件汇总为训练神经网络的复合目标/损失函数的软惩罚,该损失函数通常称为物理信息信息信息信息,这是实体神经网络(PINN)。在本研究中,我们可视化学习参数的损失景观和分布,并解释目标功能的这种特殊表述可能会阻碍甚至在处理挑战性目标解决方案时阻碍收敛的方式。我们构建了一个纯粹的数据驱动损失函数,该损失函数既由边界损耗和域损耗组成。使用此数据驱动的损耗函数,并单独使用物理信息损失函数,然后我们使用相同的体系结构训练两个神经网络模型。我们表明,边界和域损失项之间无与伦比的尺度是绩效差的罪魁祸首。此外,我们评估了两种椭圆形问题的性能,具有日益复杂的目标解决方案。基于我们对它们的损失景观和学识渊博的参数分布的分析,我们观察到具有复合目标功能配方的物理知识神经网络会产生高度非convex损失表面,这些损失表面难以优化,并且更容易发生消失梯度的问题。 。
translated by 谷歌翻译
已经提出了物理信息神经网络(PINN)来学习偏微分方程(PDE)的解决方案。在PINN中,感兴趣的PDE及其边界条件的残余形式被归为复合目标函数,作为软惩罚。在这里,我们表明,将目标函数制定的这种特定方式是应用于不同种类PDE的PINN方法中严重限制的来源。为了解决这些局限性,我们提出了一个基于约束优化问题公式的多功能框架,在该框架中,我们使用增强的拉格朗日方法(ALM)来限制PDE的解决方案,并具有其边界条件和任何可能可用的高保真数据。我们的方法擅长于具有多保真数据融合的转发和反问题。我们通过将其应用于涉及多维PDE的几个远期和反向问题来证明物理和相等性约束深度学习框架的功效和多功能性。您的框架与最先进的框架相比,与最先进的框架提高了幅度的提高顺序。 ART物理信息的神经网络。
translated by 谷歌翻译